Improving generalization of vocal tract feature reconstruction: from augmented acoustic inversion to articulatory feature reconstruction without articulatory data

We address the problem of reconstructing articulatory movements, given audio and/or phonetic labels. The scarce availability of multi-speaker articulatory data makes it difficult to learn a reconstruction that generalizes to new speakers and across datasets. We first consider the XRMB dataset where audio, articulatory measurements and phonetic transcriptions are available. We show that phonetic labels, used as input to deep recurrent neural networks that reconstruct articulatory features, are in general more helpful than acoustic features in both matched and mismatched training-testing conditions. In a second experiment, we test a novel approach that attempts to build articulatory features from prior articulatory information extracted from phonetic labels. Such approach recovers vocal tract movements directly from an acoustic-only dataset without using any articulatory measurement. Results show that articulatory features generated by this approach can correlate up to 0.59 Pearson product-moment correlation with measured articulatory features.Comment: IEEE Workshop on Spoken Language Technology (SLT

Dynamical maximum entropy approach to flocking

Peer reviewedPublisher PD

Flüssigkristallanordnung von photoschaltbaren Molekulen an einer Oberfläche

Photo-switchable molecules are chemical compounds that undergo configurational changes upon photon absorption. In particular, azobenzene-based photo switches possess two isomeric stable states: an elongated rod-like trans state and a bent-shaped cis isomer. In this work we consider model molecules whose shape resembles that of azobenzene-based molecules and investigate their liquid-crystal assembly in two dimensions, mainly using computer simulations. The first part of our study, motivated by the recent interest in the self-assembly of complex structures in two-dimensional systems, consists in examining the influence of different molecular geometries on the stability of several spontaneously ordered phases. We perform extensive Monte Carlo simulations of a two-dimensional bent hard-needle model in both its chiral zig-zag and its achiral bow-shape configurations and present their phase diagrams. We find evidence for a variety of stable phases: isotropic, quasi-nematic, smectic-C, anti-ferromorphic smectic-A, and modulated-nematic. This last phase consists of layers formed by supramolecular arches. They create a modulation of the molecular polarity whose period is sensitively controlled by molecular geometry. We identify transition densities using correlation functions together with appropriately defined order parameters and compare them with predictions from Onsager theory. The contribution of the molecular excluded area to Onsager theory and simple liquid crystal phase morphology is discussed. We demonstrate the isotropic–quasi-nematic transition to be consistent with a Kosterlitz-Thouless disclination unbinding scenario. The second part of our study is motivated by the growing interest in monolayers of photo-switchable molecules. They can be used as glassy systems with light-controllable dynamics. Recent experiments have demonstrated that, in a dense monolayer of photo-switchable dye Methyl-Red molecules, the relaxation of an initial birefringence follows a power-law decay, typical for glass-like dynamics. The slow relaxation can efficiently be controlled and accelerated by illuminating the monolayer with circularly polarized light, which induces trans-cis isomerization cycles. To elucidate the microscopic mechanism, we develop a two-dimensional molecular model in which the trans and cis isomers are represented by straight and bent needles, respectively. As in the experimental system, the needles are allowed to rotate and to form overlaps but they cannot translate. The out-of-equilibrium rotational dynamics of the needles is generated using kinetic Monte Carlo simulations. We demonstrate that, in a regime of high density and low temperature, the power-law relaxation can be traced to the formation of spatio-temporal correlations in the rotational dynamics. These correlations correspond to the presence of transient domains of fast- and slowly-rotating molecules, i.e., dynamic heterogeneity. We also show that the nearly isotropic cis isomers can prevent dynamic heterogeneities from forming in the monolayer and that the relaxation then becomes exponential.Photoschaltbare Moleküle sind chemikalische Stoffe, die konfigurative Anderungen unter Photonenabsorbtion durchlaufen. Insbesondere Azobenzol-basierte Photoschalter nehmen zwei isomerische stabile Zustände an: ein l ̈anglicher, stäbchenförmiger trans-Zustand und ein gekrümmter cis-Isomer. In dieser Arbeit untersuchen wir Modellmoleküle, deren Form der Azobenzol-basierten Molekülen ähnelt und untersuchen ihre Flüssigkristallanordnungen in zwei Dimensionen, wobei wir hauptsächlich von Computersimulationen Gebrauch machen. Der erste Teil unserer Studie, motiviert durch jüngst aufkommendes Interesse an Selbstorganisation von komplexen Strukturen in zweidimensionalen Systemen, besteht in der Untersuchung des Einflusses von unterschiedlichen, molekularen Geometrien auf die Stabilität spontan organisierter Zustände. Wir führen umfangreiche Monte- Carlo-Simulationen eines zweidimensionalen Modells gekrümmter, harter Nadeln sowohl in einer chiralen Zickzack-, als auch in einer achiralen bogenförmigen Konfiguration durch und pr ̈asentieren Phasendiagramme. Wir finden verschiedene stabile Zustände: isotrope, quasi-nematische, smektisch-C, anti-ferromorphe smektisch-A und modulierte, nematische Zustände. Letzterer besteht aus Schichten aus supramolekularen Bögen. Sie kreieren eine neue molekulare Polarität, deren Periodizität sensibel durch die molekulare Geometrie bestimmt wird. Wir identifizieren Übergangswahrscheinlichkeitsdichten mithilfe von Korrelationsfunktionen zusammen mit geeignet definierten Ordnungsparametern und vergleichen sie mit Voraussagen aus der Onsager-Theorie. Der Einfluss von molekularer ”excluded area” auf die Onsager-Theorie und die Morphologie von Flüssigkristallzust ̈anden wird diskutiert. We zeigen, dass der isotrop-quasi-nematische Phasenübergang mit einem Kosterlitz-Thouless Ablösungsszenario konsistent ist. Der zweite Teile unserer Studie ist durch das ansteigende Interesse an Monoschichten von photoschaltbaren Molekülen motiviert. Sie können als Glassysteme mit lichtkontollierbarer Dynamik verwendet werden. Neuerliche Experimente haben aufgezeigt, dass eine initiale Doppelbrechung in einer dichten Monoschicht von photoschaltbaren methylroten Molekülen einem Potenzgesetz folgend abklingt, so wie man es aus glasähnlichen Systemen kennt. Die langsame Relaxation kann effizient durch Bestrahlen mit zirkularpolarisiertem Licht der Monoschicht gesteuert werden, was zu trans-cis Isomerisierungszyklen führt. Um den mikroskopischen Mechanismus zu beleuchten, entwickeln wir ein zweidimensionales, molekulares Modell, in dem die trans and cis Isomere von geraden und gekrümmten Nadeln repräsentiert werden. Wie in den Experimenten können die Nadeln rotieren und überlappen aber sich nicht verschieben. Die Nichtgleichgewichtsrotationsdynamik der Nadeln wird mit kinetischen Monte-Carlo-Simulationen generiert. Wir zeigen, dass in einem Bereich mit hoher Dichte und geringer Temperatur die Potenzgesetz-Relaxation auf Ort-Zeit-Korrelationen der Rotationsdynamik zurückgeführt werden kann. Diese Korrelationen basieren auf transienten Bereichen von schnell und langsam rotierenden Molekülen, das heißt auf dynamischer Heterogenität. Wir zeigen auch, dass die fast isotropen cis Isomere dynamische Heterogenitäten in der Monoschicht verhindern können und in diesem Fall die Relaxation exponentiell verläuft

From empirical data to inter-individual interactions: unveiling the rules of collective animal behavior

Animal groups represent magnificent archetypes of self-organized collective behavior. As such, they have attracted enormous interdisciplinary interest in the last years. From a mechanistic point of view, animal aggregations remind physical systems of particles or spins, where the individual constituents interact locally, giving rise to ordering at the global scale. This analogy has fostered important research, where numerical and theoretical approaches from physics have been applied to models of self-organized motion. In this paper, we discuss how the physics methodology may provide precious conceptual and technical instruments in empirical studies of collective animal behavior. We focus on three-dimensional groups, for which empirical data have been extremely scarce until recently, and describe novel experimental protocols that allow reconstructing aggregations of thousands of individuals. We show how an appropriate statistical analysis of these large-scale data allows inferring important information on the interactions between individuals in a group, a key issue in behavioral studies and a basic ingredient of theoretical models. To this aim, we revisit the approach we recently used on starling flocks, and apply it to a much larger data set, never analyzed before. The results confirm our previous findings and indicate that interactions between birds have a topological rather than metric nature, each individual interacting with a fixed number of neighbors irrespective of their distances